Machine Learning Markov Decision Process (MDP) এবং Q-Learning গাইড ও নোট

Markov Decision Process (MDP) এবং Q-Learning

Markov Decision Process (MDP) এবং Q-Learning হল মেশিন লার্নিং এবং রিইনফোর্সমেন্ট লার্নিংয়ের গুরুত্বপূর্ণ ধারণা যা ব্যবহৃত হয় এজেন্টের সিদ্ধান্ত গ্রহণ প্রক্রিয়া নির্ধারণ করতে।

১. Markov Decision Process (MDP)

Markov Decision Process (MDP) একটি গাণিতিক কাঠামো যা রিইনফোর্সমেন্ট লার্নিং সমস্যার সমাধান করতে ব্যবহৃত হয়। এটি একটি সিদ্ধান্ত গ্রহণ সমস্যা যেখানে একটি এজেন্ট তার পরিবেশের সাথে ইন্টারঅ্যাক্ট করে এবং সেখান থেকে শিখে।

MDP সাধারণত ৫টি উপাদান দ্বারা গঠিত:

১.১ MDP এর উপাদান:

1. S (State Set): সিস্টেমের সকল সম্ভাব্য অবস্থা (states)। প্রতিটি অবস্থার জন্য, এজেন্ট কিছু সিদ্ধান্ত গ্রহণ করতে পারে।
2. A (Action Set): এজেন্টের জন্য উপলব্ধ সমস্ত কর্ম (actions)। প্রতিটি অবস্থায়, এজেন্ট এক বা একাধিক কর্ম করতে পারে।
3. P (State Transition Probability): এই ফাংশনটি বলবে যে, একটি নির্দিষ্ট কর্মের মাধ্যমে একটি নির্দিষ্ট অবস্থান থেকে অন্য অবস্থায় যাওয়ার সম্ভাবনা কতটুকু। $$P(s'|s,a)$$ যেখানে $s$ বর্তমান অবস্থা, $a$ কর্ম এবং $s'$ পরবর্তী অবস্থা।
4. R (Reward Function): প্রতিটি কর্মের ফলস্বরূপ, এজেন্ট কোন পুরস্কার বা শাস্তি পাবে, তা নির্ধারণ করে। এটি পরবর্তী অবস্থায় যাওয়ার জন্য একটি মূল্যায়ন স্কোর হিসেবে কাজ করে। $$R(s,a,s')$$
5. γ (Discount Factor): এটি একটি মূল্যায়ন ফ্যাক্টর যা ভবিষ্যত পুরস্কারের উপর গুরুত্ব কমানোর জন্য ব্যবহৃত হয়। γ এর মান সাধারণত $0 \leq \gamma \leq 1$ হয়, যেখানে γ এর মান যত কম হবে, তত বেশি গুরুত্ব বর্তমান পুরস্কারকে দেয়া হয়।

MDP এ, একটি এজেন্ট তার বর্তমান অবস্থায়, একটি কর্ম নির্বাচন করে এবং পুরস্কার পায়। এরপর, নতুন অবস্থায় চলে যায় এবং আবার নতুন কর্ম নির্বাচন করে, এই প্রক্রিয়া চলতে থাকে।

২. Q-Learning

Q-Learning হল একটি রিইনফোর্সমেন্ট লার্নিং অ্যালগরিদম যা Model-free লার্নিং পদ্ধতি হিসেবে কাজ করে। এই পদ্ধতিতে, এজেন্ট কোন মডেল বা পরিবেশের পূর্ণ জ্ঞান ছাড়াই শুধুমাত্র পুরস্কার/শাস্তি দেখে শিখে। Q-Learning ব্যবহার করে, এজেন্ট এমন একটি নীতি (policy) শিখতে পারে যা তাকে সর্বোচ্চ পুরস্কার অর্জনে সহায়তা করবে।

২.১ Q-Learning এর ধারণা

Q-Learning একটি Value Iteration অ্যালগরিদম, যেখানে এজেন্ট একটি Q-Table তৈরি করে। Q-Table একটি টেবিল যেখানে প্রতিটি সেলের মধ্যে একটি ভ্যালু থাকে যা একটি অবস্থার জন্য কোন কর্মের মূল্য (value) প্রতিনিধিত্ব করে।

Q-Learning অ্যালগরিদমের মূল লক্ষ্য হল একটি নীতি তৈরি করা যা সর্বোচ্চ সম্ভাব্য পুরস্কার প্রদান করবে।

২.২ Q-Learning আপডেট ফাংশন

Q-Learning অ্যালগরিদমে, আমরা একটি Q-value আপডেট করি প্রতিটি টার্নে, যা সেই অবস্থার জন্য সেরা কর্ম নির্বাচন করতে সহায়তা করবে। Q-value আপডেট করার জন্য নিচের ফর্মুলা ব্যবহার করা হয়:

$$Q(s, a) = Q(s, a) + \alpha \left[ R(s, a, s') + \gamma \max_{a'} Q(s', a') - Q(s, a) \right]$$

এখানে:

• $Q(s, a)$ হল বর্তমান অবস্থা $s$ এবং কর্ম $a$ এর Q-value।
• $R(s, a, s')$ হল বর্তমান অবস্থায় $s$ এবং কর্ম $a$ এর মাধ্যমে পরবর্তী অবস্থায় যাওয়ার জন্য পাওয়া পুরস্কার।
• $\gamma$ হল ডিসকাউন্ট ফ্যাক্টর, যা ভবিষ্যত পুরস্কারের উপর প্রভাব ফেলে।
• $\alpha$ হল learning rate, যা নতুন তথ্যের উপর কতটা গুরুত্ব দেওয়া হবে তা নির্ধারণ করে।
• $\max_{a'} Q(s', a')$ হল পরবর্তী অবস্থায় সেরা কর্মের Q-value।

২.৩ Q-Learning অ্যালগরিদম

Q-Learning অ্যালগরিদম সাধারণত নিম্নলিখিত ধাপগুলির মাধ্যমে কাজ করে:

1. Initialization: প্রথমে সমস্ত Q-values $Q(s, a)$ কে 0 দিয়ে ইনিশিয়ালাইজ করা হয়।
2. Exploration and Exploitation: এজেন্ট তার বর্তমান নীতি অনুসরণ করে কর্ম নির্বাচন করে এবং পুরস্কার পায়। একে Exploration বলা হয়। কিন্তু কিছু সময়, এজেন্ট তার জানামতে সবচেয়ে ভালো কর্ম (exploitation) বেছে নেয়।
3. Q-value আপডেট: প্রতি সেশনে, Q-values আপডেট করা হয় আগের ফর্মুলার মাধ্যমে।
4. Termination: এজেন্ট যতবার ট্রেনিং করে, তার Q-values এর মধ্যে সর্বোচ্চ মান বের হয় এবং এজেন্ট তার নীতি শিখে ফেলে।

উদাহরণ:

import numpy as np

# Q-table ইনিশিয়ালাইজ করা
Q = np.zeros((state_space, action_space))

# Hyperparameters
learning_rate = 0.8
discount_factor = 0.95
episodes = 1000

for episode in range(episodes):
    state = env.reset()
    
    done = False
    while not done:
        # Exploit বা Explore
        if np.random.uniform(0, 1) < epsilon:  # Explore
            action = np.random.choice(action_space)
        else:  # Exploit
            action = np.argmax(Q[state, :])

        # পরবর্তী স্টেট, পুরস্কার এবং তথ্য পাওয়া
        next_state, reward, done, _ = env.step(action)

        # Q-value আপডেট করা
        Q[state, action] = Q[state, action] + learning_rate * (reward + discount_factor * np.max(Q[next_state, :]) - Q[state, action])

        state = next_state

# Q-table এর মাধ্যমে সর্বোত্তম নীতি বের করা
policy = np.argmax(Q, axis=1)

সারাংশ

• MDP (Markov Decision Process) একটি গাণিতিক কাঠামো যা রিইনফোর্সমেন্ট লার্নিং সমস্যায় ব্যবহৃত হয়। এটি একটি এজেন্টের সিদ্ধান্ত গ্রহণ প্রক্রিয়া নির্ধারণ করে যেখানে এজেন্ট একটি পরিবেশে অবস্থান পরিবর্তন করে এবং পুরস্কার পায়।
• Q-Learning হল একটি Model-free রিইনফোর্সমেন্ট লার্নিং অ্যালগরিদম, যা মডেল বা পরিবেশের পূর্ণ জ্ঞান ছাড়াই শিখতে সাহায্য করে। এটি Q-value আপডেটের মাধ্যমে সর্বোত্তম নীতি শিখে।
• Q-Learning এর মাধ্যমে এজেন্ট তার কর্মের মূল্য (Q-value) আপডেট করে এবং ধীরে ধীরে একটি নীতি শিখে, যা সর্বোচ্চ পুরস্কার অর্জনে সহায়তা করে।